Sau khi Hộc Luật hoàng hậu bị phế truất, Lục Lệnh Huyên muốn Mục thị trở thành hoàng hậu, song Hồ thái hậu lại muốn cháu gái bà là Hồ thị trở thành hoàng hậu. Tuy nhiên, Hồ thái hậu cho rằng mình không đủ khả năng thuyết phục kì tử, nên bà đã đem quà tặng cho Lục Lệnh Huyên. Lục Lệnh Huyên cũng nhận thấy Cao Vĩ sủng ái Hồ thị, vì thế đã cùng đề xuất với Tổ Thỉnh về việc lập Hồ thị làm hoàng hậu, Cao Vĩ đã chấp thuận điều này. Cao Vĩ hết sức sủng ái Hồ hoàng hậu, đến nỗi ông cho gắn ngọc trai bên ngoài y phục của bà, song những y phục này sau đó đã bị phá hủy trong một vụ hỏa hoạn. Tuy nhiên, Lục Lệnh Huyên vẫn không chấm dứt hy vọng đưa Mục thị làm hoàng hậu, bà ta nói với Cao Vĩ: "Làm sao mà một người con trai làm hoàng thái tử còn mẫu thân là một người hầu, một người thiếp?". Tuy nhiên, vì Cao Vĩ sủng ái Hồ hoàng hậu, Lục Lệnh Huyên đã không thực hiện được mong muốn của mình, và quay sang nhờ phù thủy dùng yêu thuật ám hại Hồ hoàng hậu. Sử sách ghi rằng trong vòng một tháng, Hồ hoàng hậu bắt đầu thể hiện các triệu chứng rối loạn tâm thần, thường lẩm bẩm một mình hoặc cười mà không có nguyên nhân. Cao Vĩ bắt đầu lo sợ và không còn sủng ái bà nữa. Vào mùa đông năm 572, Lục Lệnh Huyên cho Mục thị mặc y phục hoàng hậu và đưa vào một cái lều, vây quanh là các đồ trang sức lộng lẫy, và sau đó kể với Cao Vĩ "Hãy để ta chỉ cho hoàng thượng một thánh nữ" Khi Cao Vĩ trông thấy Mục thị, Lục Lệnh Huyên nói rằng "Nếu một người phụ nữ xinh đẹp như thế này không trở thành hoàng hậu, thì ai sẽ đủ tiêu chuẩn trở thành hoàng hậu?". Cao Vĩ đồng ý với nhũ mẫu, và lập Mục thị làm "hữu hoàng hậu", còn Hồ hoàng hậu có tước hiệu là "tả hoàng hậu".

Khoảng tết năm 573, Lục Lệnh Huyên đã vu cáo với Hồ thái hậu rằng Hồ hoàng hậu đã phỉ báng phẩm hạnh của Hồ thái hậu, Hồ thái hậu tức giận nên đã không thẩm tra lại thông tin và lệnh trục xuất Hồ hoàng hậu ra khỏi cung, và sau đó bảo Cao Vĩ phế truất Hồ hoàng hậu. Sau đó, Lục Lệnh Huyên và Mục Đề Bà có nhiều quyền lực và hủ bại đến độ họ công khai nhận hối lộ và mua quan bán tước, và tất cả những gì họ muốn đều sẽ thực hiện được. Vào mùa xuân năm 573, Mục Đề Bà, Cao A Na Quăng và Hàn Trường Loan được gọi là "Tam Quý", và họ kiểm soát triều đình Bắc Tề. Vấn đề tham nhũng trở nên nghiêm trọng, cùng với việc bản thân Cao vĩ sống xa hoa và phung phí, liên tục cho xây dựng các cung điện và thậm chí là kéo đổ chúng rồi cho trùng tu, quốc khố Bắc Tề lâm vào tình trạng kiệt quệ.

Vào mùa xuân năm 573, Cao Vĩ phong Mục hữu hoàng hậu làm hoàng hậu duy nhất.

Cũng trong mùa xuân năm 573, do biết rằng Cao Vĩ yêu thích văn chương, và với sự tán thành của Cao Vĩ, Tổ Thỉnh đã thiết lập Văn lâm quán (文林館) do Lý Đức Lâm và Nhan Chi Suy đứng đầu. Họ duy trì một nhóm gồm những người có tài văn chương và đã tạo ra một trong các khái lược vĩ đại nhất trong giai đoạn đó, là Tu văn điện ngự lãm (修文殿御覽).

Vào mùa hè năm 573, Trần Tuyên Đế phái tướng Ngô Minh Triệt (吳明徹) tiến hành một cuộc tấn công lớn vượt qua Trường Giang vào lãnh thổ Bắc Tề. Cao Vĩ đã không nghe theo ý giảm thuế để động viên dân chúng hay liên kết với Vương Lâm của các đại thần, thay vào đó, ông cử các đội quân cứu viện nhỏ cho các châu bị tấn công, song không đủ để kháng cự quân Trần. Sau đó, toàn bộ lãnh thổ Bắc Tề nằm giữa Hoài Hà và Trường Giang đã mất về tay Trần. Tuy nhiên, bất chấp các mất mát này, Mục Đề Bà và Hàn Trường Loan vẫn tán thành lối sống hưởng lạc của Cao Vĩ, nổi tiếng với câu nói: "Thậm chí nếu Tề quốc để mất toàn bộ lãnh thổ ở bờ nam Hoàng Hà, vẫn có thể giống như Quy Từ. Song còn thảm thương hơn khi nhân sinh lại giống như gửi thân ở tạm, và chúng ta cần dùng nó để hành lạc chứ sao phải sầu?". Cao Vĩ đồng ý và tiếp tục giành thời giờ cho yến tiệc.

Trong cuộc tấn công của Trần, do xung đột với Lục Lệnh Huyên, Mục Đề Bà và Hàn Trường Loan; Tổ Thịnh đã bị đuổi ra khỏi triều đình sau khi tiến hành một nỗ lực nhằm hợp lý hóa tổ chức của triều đình và giảm bớt chi tiêu. Sau khi Tổ Thỉnh đi, triều đình càng trở nên kém hiệu quả hơn trước. Hơn nữa, cũng trong chiến dịch, Cao Vĩ đã trở nên nghi ngờ người anh họ của ông là Lan Lăng vương Cao Trường Cung- một tướng có tài, và đã hạ độc giết chết Cao Trường Cung.

Cũng trong cuộc tấn công của Trần, Cao Vĩ đã hạ lệnh tiến hành một vụ thảm sát lớn khi ông có ý định đến bồi đô Tấn Dương (晉陽, nay thuộc Thái Nguyên, Sơn Tây). Các lão tướng Thôi Quý Thư (崔季舒) và Trương Điêu (張雕) cho rằng chuyến thăm sẽ khiến dân chúng nghĩ sai là hoàng đế "chạy trốn" đến Lạc Dương, và dẫn đến hoảng loạn, vì thế họ đã cùng với các đại thần khác cùng trình tấu thỉnh cầu Cao Vĩ ở lại Nghiệp thành. Hàn Trường Loan đưa ra ý kiến là những người này này thực ra có ý muốn nổi loạn, Cao Vĩ đống ý và cho thảm sát những người này. Ông còn cho lưu đày các thành viên trong gia tộc của họ, tịch thu nữ giới và hoạn các trẻ nam trong gia tộc của họ.

Vào mùa xuân năm 574, do nô bộc của Cao Vĩ là Chước Cốt Quang Biện (斫骨光弁) có hành vi vô lễ với Nam An vương Cao Tư Hảo (高思好) và đồng thời là thứ sử của Sóc châu (朔州, nay gần tương ứng với Sóc Châu, Sơn Tây), Cao Tư Hảo đã nổi dậy. Cao Vĩ đã cử Đường Ung đi chống lại Cao Tư Hảo trong khi đích thân dẫn hậu quân tiến về phía bắc, song Cao Tư Hảo đã bị đánh bại trước khi ông đến nơi.

Trong khi đó, khoảng thời gian này, Cao Vĩ không còn sủng ái Mục hoàng hậu như trước, thay vào đó ông ngày càng say mê thị nữ của Mục hoàng hậu là Phùng Tiểu Liên, lập bà làm phi tần. Họ đi đến mọi nơi cùng nhau, thề sống chết có nhau.

Sử gia Tư Mã Quang, trong Tư trị thông giám, quyển 172, đã nói về thời gian trị vì của Cao Vĩ:

Tề Chủ nói năng ấp úng và không trơn tru, không thích gặp triều sĩ. Ông không nói gì với bất cứ ai ngoại trừ những tên hề và nô bộc của mình. Ông có tính cách nhu nhược và lo sợ người nhìn chằm chằm vào mình. Thậm chí các đại thần cao cấp khi tấu sự cũng tuyệt đối không được phép ngẩng lên nhìn, và do đó các quan lại chỉ có thể trình tấu và rút lui. Ông thừa kế lối sống tính xa xỉ và hoang phí của Thế Tổ và cho rằng đó là điều đương nhiện của bậc đế vương. Toàn bộ người trong hậu cung đều mặc y phục trân quý và ăn cao lương mỹ vị, một chiếc váy phải mất vạn thất vải. Họ cạnh tranh với nhau để giành những thứ mới và tốt nhất, và triều phục mặc ban ngày được đánh giá là cũ và lỗi mốt hơn so với triều phục mặc ban đêm. Ông giành nhiều công sức vào việc xây dựng các cung điện và hoa viên tráng lệ nhất, song tình cảm của ông với chúng không kéo dài, vì thế tất cả các công trình đều đã bị phả bỏ rồi xây lại và rồi lại phá bỏ. Các hoạt động xây dựng này được tiến hành không ngừng nghỉ, các ngọn đuốc lớn sẽ chiếu sáng công trường vào ban đêm, và nước được đun sôi dùng để hòa lẫn bụi bẩn vào mùa đông. Để tạc tượng Phật lên Tây Sơn ở Tấn Dương, cả vạn bó đuốc đã được dùng cho một đêm, đủ sáng để chiếu cung Tấn Dương trông sáng như ban ngày. Bất cứ khi nào có thảm họa thiên nhiên, điềm báo đau ốm, hoặc các cuộc khởi nghĩa nông dân, ông không bao giờ tự phê bình mình, mà chỉ tổ chức đại tiệc chay để thiết đãi các tu sĩ Phật giáo và Đạo giáo, tin rằng điều này sẽ khiến thần linh đem phúc lành đến giúp mình vượt qua khó khăn. Ông thích tự đánh tì bà và cá xướng, và ông đã viết một ca khúc có tựa đề Vô sầu khúc (無愁曲), với hàng trăm người hầu ca cùng với ông, khiến dân gian gọi ông là "vô sầu Thiên tử." Ông thiết lập "Bần nhi thôn" trong Hoa lâm viên (華林園), tại đây ông sẽ mặc áp quần rách nát và hành khất trong "thôn", cho đó là một niềm vui lớn. Ông cũng cho xây các mô hình của các thành biên giới phía tây và cho người mặc trang phục màu đen giống quân Bắc Chu và tấn công, hoàng đế cùng các hoạn quan sẽ chống lại các cuộc tấn công."Ông sủng nhiệm Lục Lệnh Huyên, Mục Đề Bà, Cao A Na Quăng, và Hàn Trường Loan đứng đầu cai quản triều chính. Các hoạn quan Đặng Trường Ngung (鄧長顒) và Trần Đức Tín (陳德信), và người Hồ Hà Hồng Trân (何洪珍) cũng tham dự vào việc quyết định các vấn đề quan trọng. Mỗi người trong số họ lại đưa thân đảng vào triều đình và nâng chức cho những người này vượt quá giới hạn thích hợp. Việc thăng tiến của các quan lại đều dựa vào số tiền hối lộ mà họ đưa; những người chịu hối lộ sẽ được thăng chức và những người khôn chịu sẽ bị giáng chức. Các quan phân xử cũng dựa theo số tiền hối lộ, người giàu có thì được phép sống còn người nghèo bị kết án tử. Các quan lại đua tranh bằng hối lộ và xu ninh, gây họa cho dân. Những nô bộc, như Lưu Đào Chi, đã được thăng lên các chức quan lớn và được phong vương. Gần một vạn người như hoạn quan, người Hồ (Hung Nô), ca vũ nhân, kiến quỷ nhân và nô tì đã nhận được phú quý vượt quá khả năng của họ. Hàng trăm người không phải thành viên hoàng tộc họ Cao đã được phong vương. Chức khai phủ (開府) cao quý được trao cho trên 1000 người, và vô số người có chức nghi đồng (儀同). Có trên 20 người lãnh quân bảo vệ hoàng vung. Có 10 thị trung, trung thường thị. Thậm chí chó, ngựa, chim ưng cũng có chức nghi đồng, hiệu quận quân, có chọi gà và những con gà này có hiệu khai phủ, ăn lộc là thức ăn. Các nô bộc phục vụ hoàng đế mọi lúc và chỉ nghĩ cách lấy lòng hoàng đế. Một vở diễn có thể được thưởng đến nhiều vạn đồng. Sau đó, khi quốc khố cạn kiệt, ông lại sử dụng các quận huyện làm phần thưởng, trao hai đến ba quận hoặc sáu đến bảy huyện mỗi lần, cho phép các nô bộc bán chức quan lấy tiền. Do đó, các chức quận thái thú và huyện lệnh phần lớn là các phú thương, họ tìm cách bòn rút và tống tiền dân chúng, dân không thể sống nổi.

Bắc Chu Vũ Đế từ lâu đã có dã tâm thôn tính Bắc Tề và rồi ông ta cho tiến hành một chiến dịch tấn công lớn vào mùa thu năm 575 song sau đó đã triệt thoái. Tuy nhiên, trong lúc này, quân Trần dưới sự chỉ huy của Ngô Minh Triệt lại bắt đầu cuộc tấn công mới, bao vây Bành Thành (彭城, nay thuộc Từ Châu, Giang Tô). Vào mùa đông năm 576, Vũ Đế lại tiến hành một chiến dịch khác chống Bắc Tề, bao vây Bình Dương (平陽, nay thuộc Lâm Phần, Sơn Tây) và sau đó chiếm thành. Khi tin tức về cuộc tấn công của Bắc Chu tại Bình Dương truyền đến, Cao Vĩ đang đi săn tại Kì Liên trì (祁連池, nay thuộc Hãn Châu, Sơn Tây) với Phùng thục phi, và Cao A Na Quăng do nghĩ việc này không quan trọng nên chỉ sau khi Bình Dương thất thủ thì Cao A Na Quăng mới báo tin cho Cao Vĩ.

Cao Vĩ đã tập hợp quân đội và tiến về Bình Dương, Vũ Đế cho rằng quân của Cao Vĩ vẫn còn mạnh nên đã triệt thoái song để tướng Lương Sĩ Ngạn (梁士彥) trấn thủ Bình Dương nhằm chống lại cuộc phản công của Bắc Tề. Quân Bắc Tề đã bao vây Bình Dương bằng tất cả sức lực, và đã có thể chọc thủng tường thành sau vài ngày, song vào lúc này, Cao Vĩ đã cho dừng tấn công và triệu Phùng thục phi đến để bà có thể chứng kiến cảnh tượng thành Bình Dương thất thủ. Tuy nhiên, khi Phùng thục phi đến, quân Bắc Chu đã lấp kín các lỗ thủng của tường thành, và do đó đã giữ được thành. Trong khi Bình Dương bị bao vây, Bắc Chu Vũ Đế đã phát động một cuộc tấn công khác để giải vây cho Bình Dương. Cao A Na Quăng đã khuyên Cao Vĩ không đối đầu trực tiếp với quân của Bắc Chu Vũ Đế, song Cao Vĩ lại nghe lời các hoạn quan và giao chiến trực tiếp với Vũ Đế, hai bên giao chiến tại một trận vào khoảng gần năm 577. Phùng quý phi và Mục Đề Bà do yếu bóng vía nên đã đề nghị rút quân ngay lập tức, Cao Vĩ đã bỏ lại quân lính và chạy đến Tấn Dương, khiến đội quân Bắc Tề sụp đổ.

Khi đã ở Tấn Dương, thay vì chuẩn bị kháng chiến, Cao Vĩ lại lên kế hoạch để An Đức vương Cao Diên Tông và Quảng Ninh vương Cao Hiếu Hành (高孝珩) bảo vệ Tấn Dương, còn bản thân sẽ chạy lên Sóc châu ở phía bắc, bất chấp lời khuyên bảo của Cao Diên Tông. Đầu tiên, Cao Vĩ đưa Hồ thái hậu và Cao Hằng đến Sóc châu. Đến khi quân Bắc Chu đến Tấn Dương, Cao Vĩ để Tấn Dương lại cho Cao Diên Tông và chạy trốn, ban đầu có ý muốn đến Sóc châu hay Đột Quyết, song sau khi được tướng Mai Thăng Lang (梅勝郎) thuyết phục, Cao Vĩ đã trở về Nghiệp thành, được Cao A Na Quăng hộ tống. Trong khi đó, Mục Đề Bà đã bỏ Cao Vĩ và đầu hàng Bắc Chu, khiến Lục Lệnh Huyên tự sát và toàn bộ các thành viên trong gia đình Mục Đề Bà đề bị hành quyết hoặc bị đi đày. Trong khi đó, Đường Ung vẫn ở Tấn Dương và cùng với các tướng khác đã thuyết phục được Cao Diên Tông lên ngôi hoàng đế. Khi Cao Vĩ nghe được tin này, ông đã nói: "Ta muốn Tịnh châu [bao gồm Tấn Dương] rơi vào tay Chu hơn là rơi vào tay An Đức", thành Tấn Dương sau đó đã rơi vào tay Bắc Chu

Khi Cao Vĩ đến Nghiệp thành, ông ra lệnh treo thưởng cao cho những người nào gia nhập quân đội, song bản thân ông lại không muốn đóng góp của cải trong hoàng cung. Hơn nữa, khi ông thực hiện một bài phát biểu nhằm nâng cao tinh thần chiến đấu, thái độ bất kính của ông lại khiến các tướng lĩnh tức điên. Các tướng lĩnh và quan lại đều mất ý chí chiến đấu. Cao Mại (高勱) là người đã hộ tống Hồ thái hậu và Hoàng thái tử Cao Hằng trở về từ Sóc châu, ông ta đề nghị biến Nghiệp thành thành cứ điểm tối hâu, song Cao Vĩ đã từ chối. Khi các nhà chiêm tinh học chỉ ra rằng đế vị phải được thay đổi, ông đã quyết định trao lại ngai vàng cho Cao Hằng vào mùa xuân năm 577, song khi đó Cao Hằng mới được 7 tuổi. Cao Vĩ trở thành Thái thượng hoàng.